کیفیت داده ها در امر تصمیم گیری سازمان ها تاثیرگذار می باشد، به گونه ای که تصمیم گیری مبتنی بر داده های فاقد کیفیت سازمان را متحمل هزینه های بالایی می کند. کیفیت داده ها دارای ابعاد متنوعی می باشد که صحت از مهم ترین این ابعاد است. جهت تصحیح داده ها نیاز به تشخیص خطا وجود دارد که با توجه به حجم بالای داده ها، نیاز به یک سیستم خودکار است تا بدون دخالت کاربر این فرایند انجام گیرد.در این مقاله راهکاری خودکار مبتنی بر خوشه بندی k-means جهت تشخیص خطا ارائه شده است. در ابتدا به ازای هر ویژگی، داده ها خوشه بندی می شوند و سپس به ازای هر داده در آن خوشه از روش شبه k نزدیک ترین همسایه، جهت شناسایی خطا استفاده می شود. روش پیشنهادی توانایی تشخیص چندین خطا در یک رکورد را دارد و همچنین قادر است خطا در فیلدهایی با انواع داده متفاوت را نیز شناسایی کند. آزمایشات نشان می دهد که به طور متوسط این روش می تواند %91 خطاهای موجود در داده ها را شناسایی نماید. همچنین روش پیشنهادی با یک روش تشخیص خطا به وسیله قوانین که همانند راهکار پیشنهادی روشی خودکار برای تشخیص خطا در انواع داده ای متفاوت است نیز مورد مقایسه قرارگرفته و نتایج نشان می دهد که روش پیشنهادی به طور متوسط 25% عملکرد بهتری در تشخیص خطا داشته است.

روشهای مختلف آماری، غیرآماری و جعبه سیاه در فرایندهای پیش بینی جریان رودخانه استفاده می شوند. از میان روشهای آماری، روش رگرسیون ناپارامتری K- نزدیک ترین همسایگی به واسطه پایه ریاضی و سادگی ذاتی، یکی از روشهای مناسب در فرایندهای پیش بینی است. در این تحقیق ضمن معرفی کامل روش K-NN به تشریح راهکارهای توسعه و بهبود این روش پرداخته می شود که از آن جمله می توان به معرفی روشهای تخمین بهترین همسایگی، توابع انتقال اطلاعات (پیش پردازش)، توابع فاصله سنجی و روش پیشنهادی برای برونیابی اشاره کرد. روش پیش بینی K-NN به همراه راهکارهای توسعه آن بر روی مطالعه موردی پیش بینی آورد حوضه بالادست سد زاینده رود اجرا شد. مقایسه نتایج نهایی روش K-NN کلاسیک با روش اصلاح شده K-NN (تعداد همسایگی 5، تابع انتقال دامنه مقیاس، تابع فاصله سنجی ماهانالوبیس و اعمال روش برونیابی پیشنهادی) نشان می دهد که مدل بهبود یافته در پارامترهای نکویی برازش، ریشه میانگین مربعات خطا، درصد حجم خطا و میزان همبستگی به ترتیب 45، 59 و 17 درصد بهبود عملکرد داشته است. این نتایج، ضرورت اعمال راهکارهای ذکر شده را برای استخراج پیش بینی های دقیق تر نشان می دهد.

به کارگیری داده های بدون برچسب در خودآموزی نیمه نظارتی می تواند به طور قابل توجهی دقت طبقه بند نظارت شده را بهبود بخشد، اما در برخی موارد ممکن است دقت طبقه بندی را به مقدار چشم گیری کاهش دهد. یکی از دلایل چنین تنزلی، برچسب گذاری اشتباه به داده های بدون برچسب می باشد. در این مقاله، روشی را برای برچسب گذاری با قابلیت اطمینان بالا به داده های بدون برچسب پیشنهاد می کنیم. طبقه بند پایه در الگوریتم پیشنهادی، ماشین بردار پشتیبان است. در این روش، برچسب گذاری فقط به مجموعه ای از داده های بدون برچسب که از مقدار مشخصی به مرز تصمیم نزدیک تر هستند انجام می شود. به این داده ها، داده های دارای اطلاعات می گویند. اضافه شدن داده های دارای اطلاعات به مجموعه آموزشی در صورتی که برچسب آنها به درستی پیش بینی شود در دستیابی به مرز تصمیم بهینه تأثیر به سزایی دارد. برای کشف ساختار برچسب زنی در فضای داده از الگوریتم اپسیلون-همسایگی (DBSCAN) استفاده شده است. آزمایش های مقایسه ای روی مجموعه داده های UCI نشان می دهند که روش پیشنهادی برای دستیابی به دقت بیشتر طبقه بند نیمه نظارتی خودآموز به نسبت برخی از کار های قبلی عملکرد بهتری دارد.

با توجه به سرعت روزافزون تولید اطلاعات و نیاز تبدیل اطلاعات به دانش، روش های یادگیری ماشین قدیمی دیگر پاسخگو نیستند. هنگام استفاده از طبقه بندی ها با روش های یادگیری ماشین قدیمی، به ویژه استفاده از طبقه بندی های ذاتاً تنبل مانند روش k-نزدیک ترین همسایگی (KNN)، عملیات طبقه بندی داده های حجیم بسیار کند است. نزدیک ترین همسایگی به دلیل سادگی و دقت عملی که ارائه می دهد یک روش محبوب در زمینه طبقه بندی داده ها می باشد. روش پیشنهادی مبتنی بر مرتب سازی بردارهای ویژگی داده های آموزشی در یک درخت جستجوی دودویی است تا طبقه بندی داده های بزرگ را با استفاده از روش نزدیک ترین همسایگی تسریع بخشد. این کار با استفاده از یافتن تقریبی دو دورترین داده محلی در هر گره درخت انجام می شود. این دو داده به عنوان معیار برای تقسیم داده های موجود در گره فعلی بین دو گروه، مورد استفاده قرار می گیرند. مجموعه داده های موجود در هر گره بر اساس شباهت آنها به این دو داده، به فرزند چپ یا راست گره فعلی تخصیص داده می شوند. نتایج آزمایش های متعدد انجام شده بر روی مجموعه داده های مختلف از مخزن UCI، میزان دقت خوب با توجه به زمان اجرای کم روش پیشنهادی را نشان می دهد.

لطفا برای مشاهده چکیده به متن کامل (pdf) مراجعه فرمایید.

اندازه گیری ظرفیت تبادل کاتیونی خاک در سطوح وسیع، معمولا بسیار پرهزینه و وقت گیر است. تخمین این کمیت به وسیله ویژگی های زودیافت خاک، از طریق توسعه توابع غیرپارامتریک می تواند رویکرد مناسبی باشد. در این پژوهش روش غیرپارامتریکی با عنوان K- نزدیک ترین همسایگی در تخمین CEC خاک استفاده شد و نتایج آن با یکی از پرکاربردترین روش های مرسوم مبتنی بر مدل های شبکه عصبی مصنوعی (ANN) مورد مقایسه قرار گرفت. 683 نمونه خاک از مناطق مرکزی ایران انتخاب شدند که 120 عدد از آنها به عنوان داده های مورد آزمون (هدف) و 563 عدد به عنوان بانک داده مرجع (آموزش) قرار گرفتند. مقادیر پارامترهای رس، سیلت، شن و کربن آلی خاک به عنوان متغیر مستقل ورودی (زودیافت) و CEC به عنوان متغیر وابسته خروجی بودند. نتایج نشان داد که بیشترین خطای برآورد (MaxE) در روش K-NN برابر4.81 cmol+/kg  و این مقدار در روش ANN برابر 5.26 cmol+/kg بود. ریشه میانگین مربعات خطا در روش K-NN، 1.51 و در روش ANN، 1.53 بود، که نشان می دهد هر دو روش قادرند با دقت بالا و یکسانی CEC خاک های هدف را پیش بینی نمایند. مقادیر مثبت آماره میانگین خطا (ME) برای این دو روش نیز نشان داد که هر دوی آن ها متمایل به برآورد کم تر مقدار CEC می باشند. همچنین نتایج بررسی کارایی مدل ها نشان داد که هر دو روش از کارایی بالایی (EF=0.88) در برآورد ظرفیت تبادل کاتیونی خاک برخوردار هستند.